本文介绍了一种新的数据驱动方法,利用由可逆神经网络产生的歧管嵌入,以提高具有有限数据的无组则无法模拟的鲁棒性,效率和准确性。我们通过培训深度神经网络来实现这一点,以将来自本组成歧管的全局映射到下一维欧几里德矢量空间。因此,我们建立了映射欧几里德矢量空间的规范与歧管的度量之间的关系,并导致更具物理上一致的材料数据距离概念。这种处理允许我们绕过昂贵的组合优化,当数据丰富并且高维时,这可能会显着加速无模型模拟。同时,当数据稀疏或在参数空间中不均匀地分布时,嵌入的学习还提高了算法的稳健性。提供了数值实验以证明和测量不同情况下歧管嵌入技术的性能。比较了从所提出的方法获得的结果和通过经典能量规范获得的结果。
translated by 谷歌翻译
The behavior of the network and its stability are governed by both dynamics of individual nodes as well as their topological interconnections. Attention mechanism as an integral part of neural network models was initially designed for natural language processing (NLP), and so far, has shown excellent performance in combining dynamics of individual nodes and the coupling strengths between them within a network. Despite undoubted impact of attention mechanism, it is not yet clear why some nodes of a network get higher attention weights. To come up with more explainable solutions, we tried to look at the problem from stability perspective. Based on stability theory, negative connections in a network can create feedback loops or other complex structures by allowing information to flow in the opposite direction. These structures play a critical role in the dynamics of a complex system and can contribute to abnormal synchronization, amplification, or suppression. We hypothesized that those nodes that are involved in organizing such structures can push the entire network into instability modes and therefore need higher attention during analysis. To test this hypothesis, attention mechanism along with spectral and topological stability analyses was performed on a real-world numerical problem, i.e., a linear Multi Input Multi Output state-space model of a piezoelectric tube actuator. The findings of our study suggest that the attention should be directed toward the collective behaviour of imbalanced structures and polarity-driven structural instabilities within the network. The results demonstrated that the nodes receiving more attention cause more instability in the system. Our study provides a proof of concept to understand why perturbing some nodes of a network may cause dramatic changes in the network dynamics.
translated by 谷歌翻译
我们根据函数的个体偏差而不是考虑类别中最严重的偏差,为由一类函数索引的经验过程制定了统一的尾巴。尾巴结合是通过向标准通用链条参数引入初始“通缩”步骤来建立的。最终的尾巴绑定具有主要的复杂性分量,这是talagrand的$ \ gamma $ functional for deflated函数类功能的变体,以及一个依赖实例的偏差术语,该术语由合适的规范的适当缩放版本来衡量。这两个术语均使用基于相关累积生成函数制定的某些系数表示。当函数类位于给定(指数类型)Orlicz空间时,我们还为上述系数提供了更明确的近似值。
translated by 谷歌翻译
尽管进行了多年的研究,但跨域的概括仍然是深层网络的语义分割的关键弱点。先前的研究取决于静态模型的假设,即训练过程完成后,模型参数在测试时间保持固定。在这项工作中,我们通过一种自适应方法来挑战这一前提,用于语义分割,将推理过程调整为每个输入样本。自我适应在两个级别上运行。首先,它采用了自我监督的损失,该损失将网络中卷积层的参数定制为输入图像。其次,在批准层中,自适应近似于整个测试数据的平均值和方差,这是不可用的。它通过在训练和从单个测试样本得出的参考分布之间进行插值来实现这一目标。为了凭经验分析我们的自适应推理策略,我们制定并遵循严格的评估协议,以解决先前工作的严重局限性。我们的广泛分析得出了一个令人惊讶的结论:使用标准训练程序,自我适应大大优于强大的基准,并在多域基准测试方面设定了新的最先进的准确性。我们的研究表明,自适应推断可以补充培训时间的既定模型正规化实践,以改善深度网络的概括到异域数据。
translated by 谷歌翻译
如今,基于CNN的架构在学习和提取功能方面的图像分类成功使它们如此受欢迎,但是当我们使用最先进的模型对嘈杂和低质量的图像进行分类时,图像分类的任务变得更加具有挑战性。为了解决这个问题,我们提出了一种新颖的图像分类体系结构,该体系结构以模糊和嘈杂的低分辨率图像学习细节。为了构建我们的新块,我们使用了RES连接和Inception模块想法的想法。使用MNIST数据集,我们进行了广泛的实验,表明引入的体系结构比其他最先进的卷积神经网络更准确,更快。由于我们的模型的特殊特征,它可以通过更少的参数获得更好的结果。
translated by 谷歌翻译
生成模型已成为许多图像合成和编辑任务的基本构件。该领域的最新进展还使得能够生成具有多视图或时间一致性的高质量3D或视频内容。在我们的工作中,我们探索了学习无条件生成3D感知视频的4D生成对抗网络(GAN)。通过将神经隐式表示与时间感知歧视器相结合,我们开发了一个GAN框架,该框架仅通过单眼视频进行监督的3D视频。我们表明,我们的方法学习了可分解的3D结构和动作的丰富嵌入,这些结构和动作可以使时空渲染的新视觉效果,同时以与现有3D或视频gan相当的质量产生图像。
translated by 谷歌翻译
学习来自观察数据的行为模式一直是运动预测的遗传方法。然而,目前的范式遭受了两种缺点:协会变化下的脆性和知识转移的低效。在这项工作中,我们建议从因果表现形式解决这些挑战。我们首先介绍了运动预测的因果形式主义,这将问题作为一种动态过程,其中三组潜在变量,即不变的机制,风格混乱和虚假功能。然后我们介绍一个学习框架,分别对待每个组:(i)与从不同地点收集的数据集的共同做法不同,我们通过不变性的损失来利用它们的微妙区分,鼓励模型抑制虚假相关; (ii)我们设计了一种模块化的架构,可以修理不变机制和风格混淆的表示,以近似因果图; (iii)我们介绍了一种风格的一致性损失,不仅强制实施了风格表示的结构,而且还用作自我监控信号,以便在飞行中进行测试时间改进。合成和实时数据集的实验结果表明,我们的三个提出的组件显着提高了学习运动表示的鲁棒性和可重用性,优于出现的先前最先进的运动预测模型,用于分发外概括和低次转移。
translated by 谷歌翻译